¿Aseguramiento de la Calidad para la Sostenibilidad? - Parte II
El Problema del “Antes y Después” en Desempeño Ambiental
______________________________________________________________________________________________________________
Nota: este reporte especial está dirigido a profesionales del aseguramiento de la calidad y de la gestión de medio ambiente. No todo el material les parecerá novedoso. La innovación propuesta es la integración de ambos temas para la validación científica del desempeño ambiental mediante el análisis estocástico.
______________________________________________________________________________________________________________
En la reportería convencional de sostenibilidad ESG (particularmente en contextos asociados a contaduría, auditoría financiera y cumplimiento normativo), todas las agencias reportan cambios, avances y mejoras.
Sin embargo, prácticamente ninguna puede atribuirlos científicamente.
Esto no ocurre por mala fe, sino por una razón estructural: la reportería ESG tradicional no es una práctica científica. Es una práctica administrativa.
Cuando una organización decide ir más allá del cumplimiento mínimo legal-normativo, o de los reportes financiero-narrativos con riesgo de greenwashing, y opta por validar su desempeño ambiental asumiendo la responsabilidad de rendir cuentas mediante metodologías científicas que respalden decisiones operativas, el punto de partida deja de ser el indicador KPI y pasa a ser el dato de medición validado estadísticamente.
Si una organización pretende que su desempeño sostenible sea científicamente válido, no puede ni debe tomar decisiones operativas basadas en cualquier dato. Hacerlo mantiene el desempeño ambiental atrapado en la pseudociencia, aunque el discurso sea numéricamente sofisticado.
Para que un dato ambiental sea científicamente utilizable en un proceso de toma de decisiones técnicas, debe satisfacer criterios estocásticos y metrológicos bien definidos. En este contexto, el referente internacional no es un estándar ESG ni un marco contable, sino el GUM: la Guía para la Expresión de la Incertidumbre de Medición, publicada por el Comité Conjunto para Guías de Metrología.
Como todo especialista en tecnologías aplicadas sabe (o debería saber), el GUM no es un documento teórico. Es el marco operativo global para diseñar procedimientos analíticos, interpretar resultados de medición y tomar decisiones técnicas basadas en datos validados en ciencia e ingeniería.
Por ello, cuando un proyecto apenas inicia (en fases de investigación, desarrollo, prototipado o pruebas de concepto), el primer insumo disponible suelen ser datos preliminares. Toda organización que se asuma y se ostente como técnica o científica comienza así.
En el ámbito industrial, estos datos se conocen tradicionalmente como HDS (Historical Data Set): conjuntos de datos históricos provenientes de la operación pasada del sistema.
Sin embargo, aquí aparece el problema fundamental:
Los datos históricos, por sí solos, no prueban nada.
No porque carezcan de valor, sino porque un valor numérico solo adquiere significado científico cuando se compara contra un estándar de referencia estable.
Cuando ese estándar aún no existe, los datos históricos no constituyen evidencia de desempeño, ni de mejora, ni de impacto mitigado. En términos analíticos, estos conjuntos de datos se consideran happenstance: registros contingentes del pasado que no han sido calibrados ni tratados formalmente como un conjunto de referencia.
Aunque no son admisibles para propósitos de validación o calibración, sí lo son para diagnóstico.
¿Por qué?
Porque un valor numérico apto para la toma de decisiones técnicas solo adquiere significado tangible cuando se compara contra un estándar de referencia explícitamente establecido mediante un proceso de calibración.
Aquí conviene aclarar una diferencia que suele generar confusión:
ISO 17025 no valida desempeño. Asegura que los datos que salen de un laboratorio (el sistema de medición) estén bien medidos y sean confiables.
El proyecto ambiental recibe esos datos y los organiza en dos conjuntos para su análisis: happenstance para diagnóstico y HDS para calibración. A partir de ese procesamiento estocástico es que se valida (o no) el desempeño ambiental.
Producir datos (ISO 17025) y validar datos (happenstance, HDS y monitoreo) para proyectos de desempeño son dos funciones distintas, separadas y complementarias.
Sin un estándar, los datos históricos happenstance serán únicamente un registro del pasado. No representan necesariamente evidencia de intervenciones diseñadas para mejorar el desempeño, ni permiten atribuir cambios observados a acciones específicas. ¿Por qué?
Porque validar el desempeño ambiental de un proyecto depende de al menos dos etapas y, en algunos casos, tres:
Fase 0: datos happenstance
Fase I: datos HDS
Fase II: datos de monitoreo
Por esta razón, cuando una organización asume seriamente la misión de validar estocásticamente el desempeño de las operaciones de su sistema ambiental, el trabajo científicamente honesto y trazable no comienza con KPIs artificiales, ni con dashboards de colores atractivos, ni con visualizaciones interactivas. Para que sean científicas y, por lo tanto, serias, todas esas expresiones vienen al final del proceso de validación.
Presentar resultados en dashboards con tecnología de vanguardia, sin que los datos hayan sido científicamente validados, es decoración visual.
Como podemos ver, validar el desempeño ambiental comienza con una pregunta anterior, más incómoda y más fundamental, pero plenamente científica:
¿Existe una línea base válida en Fase I contra la cual podamos comparar el desempeño continuo de nuestro sistema ambiental en Fase II?
Si esta pregunta no puede responderse con rigor analítico cuantitativo, entonces cualquier comparación “antes vs después” orientada a clasificar éxito o fracaso es, en el mejor de los casos, una descripción retrospectiva y, en el peor, retórica narrativa.
Esto no es trivial: “tomar deciciones basadas en datos”, pero carentes de una regla de decisión foirmal sustentada en un estándar, conducirá sistemáticamente a fallas operativas. En sentido estricto, ese tipo de decisiones no son decisiones: son apuestas.
¿Por qué?
Las fluctuaciones.
Desde la perspectiva probabilística, los procesos (plantas de tratamiento, emisiones, generación de residuos, consumos de recursos, etc.) son los que generan las muestras; por otro lado, los sistemas de medición (laboratorios, instrumentos, telemetría, etc.) son los que producen los datos, y ambos son inherentemente aleatorios. Así, el proceso productivo introduce variabilidad y el laboratorio la recibe, (aun cuando esté correctamente acreditado). En conjunto, ambos son las fuentes de la variabilidad total presente en los datos. Por eso se habla de variables aleatorias: la variabilidad no es un defecto del sistema ambiental. Es una propiedad física inevitable.
Las fluctuaciones siempre están presentes en cualquier sistema ambiental. Esto es natural.
En consecuencia, si se pretende que una decisión basada en datos aleatorios deje de ser una apuesta y se convierta en una decisión técnica válida, el requisito mínimo es cuantificar el error y caracterizar la incertidumbre asociada. Esto no elimina el riesgo. Permite cuantificarlo. Ese análisis es, por definición, estocástico.
Decidir únicamente con base en datos happenstance, sin un análisis formal de la incertidumbre, no constituye una estrategia de gestión ni un proceso de validación completo.
Los datos happenstance cuentan parcialmente el relato de los datos históricos, pero no informan resultados de una regla de decisión porque ésta aún no existe. Lo máximo que pueden ofrecer es un diagnóstico inicial.
Nunca se toman decisiones operativas a partir de ellos. Se toman decisiones de diagnóstico.
En consecuencia, el análisis estocástico del dato happenstance define la Fase 0 del proceso completo de validación científica del desempeño ambiental.
Las secciones siguientes de este reporte especial desarrollan las Fases I y II, correspondientes a la construcción de la línea base (HDS) y a la validación del desempeño bajo monitoreo continuo, respectivamente.
Esta metodología de comparación no es nueva. Es clásica y proviene de la disciplina de Aseguramiento de la Calidad. Lo único que hacemos en este reporte, es importar ese conocimiento al plano del desempeño ambiental, para que sea formal. ¿Por qué?
Porque en proyectos de mejora continua del tipo “antes vs después”, el objetivo es identificar el éxito vs fracaso de un sistema ambiental. Eso solo es posible tras establecer reglas formales para toma de decisiones. La única vía válida es la estadística aplicada a sistemas ambientales. Sin ella, no hay control.
De la línea base a los gráficos de control: el verdadero problema de Fase I y Fase II
Una vez que la Fase 0 ha cumplido su función (diagnosticar el sistema a partir de datos happenstance) el proyecto entra en su primer punto crítico real: la construcción de un estándar de referencia.
Ese estándar no es un promedio histórico ni un KPI agregado.
Es una línea base estadísticamente calibrada contra la cual se evaluará todo el desempeño futuro del sistema ambiental y toma una forma simple: un gráfico de control para el monitoreo.
Esta fase requiere conjuntos de datos confiables en cantidad suficiente a partir de los cuales se construirán las referencias.
En términos operativos y en estricto apego a la cultura del Aseguramiento de Calidad, formalmente este acto introduce el nacimiento de la Fase I del Procedimiento de Control.
¿Qué es realmente la Fase I?
La Fase I no es monitoreo.
La Fase I es calibración.
Aquí se toman los datos históricos HDS y se procesan estocásticamente con métodos apropiados, para responder una sola pregunta:
¿Cómo esperamos que este sistema ambiental se comporte cuando el control operativo arranque?
El resultado de la Fase I no es un número, sino un estándar estadístico operativo, a partir del cual pueden construirse gráficos de control que funcionan como reglas de decisión.
Solo después de eso puede comenzar el monitoreo formal.
Esa será la Fase II.
Finalmente, una vez que Fase I y Fase II están definidas, lo que tenemos es el Procedimiento de Control.
¿Procedimientos de control estadístico para desempeño ambiental?
Un Procedimiento de Control es una regla formal de decisión que convierte (e incluye) mediciones ambientales en acciones operativas, mediante la comparación sistemática de cada nuevo resultado contra un estándar estadístico previamente calibrado.
Ese estándar se construye en Fase I, donde los datos históricos confiables se procesan estocásticamente para definir cómo se espera que el sistema se comporte cuando está bajo control; no produce un número, sino una referencia operativa.
En Fase II, cada medición futura se contrasta contra ese estándar mediante gráficos de control, activando decisiones objetivas de éxito o necesidad de intervención sin juicio subjetivo.
En términos de Aseguramiento de Calidad, controlar no es observar ni describir: es decidir de forma reproducible si el sistema sigue siendo aceptable o no.
El problema estocástico de los sistemas ambientales: medir éxito vs fracaso
Cuando se trabaja con procedimientos de control para tomar decisiones bajo una regla explícita de decisión, el contexto nunca es neutro ni exploratorio.
El contexto es binario: Éxito vs Fracaso.
No se analizan datos “por curiosidad”. Tampoco como un “estudio especial”. Se evalúa para saber si un sistema ambiental mejora lo suficiente con el paso del tiempo, como para justificar decisiones:
operativas,
regulatorias,
financieras.
Ese es el marco real del problema de desempeño ambiental.
¿Por qué los datos ambientales rompen los gráficos de control tradicionales tipo Shewhart?
Aquí aparece la primera fricción técnica.
Los datos ambientales reales no se comportan como los datos para los que se diseñaron la mayoría de los gráficos de control clásicos.
En la práctica, los datos ambientales suelen ser:
altamente variables,
asimétricos,
sesgados,
dominados por colas,
no normales,
multimodales,
raramente iid,
sujetos a límites de detección,
y frecuentemente no estacionarios.
Esto no es una falla metodológica.
Es la naturaleza física del fenómeno ambiental.
¿Por qué los datos ambientales se comportan así?
¿Por qué no pueden comportarse como los datos de manufactura industrial?
En el Control Estadístico de Procesos (SPC), un producto procesado o manufacturado (alimentos, medicamentos, componentes electrónicos, piezas mecánicas) se diseña y se fabrica. En ese contexto existe una alta capacidad de control (Cpk, Cpm, etc.) porque el régimen operativo es, por definición, estable y repetible.
En el ámbito ambiental esto no es posible.
Nadie puede “controlar el medio ambiente”.
Puede observarse, vigilarse, medirse, monitorearse y, en el mejor de los casos, mitigarse su impacto; pero su régimen responde a forzamientos externos, variabilidad natural y cambios estructurales fuera de un control operativo total.
Dicho de manera simple: el medio ambiente no es una máquina que se pueda controlar.
Lo que sí puede hacerse es intervenir para reducir impactos ambientales excesivos.
¿Qué opciones tenemos?
La Diferencia Conceptual Clave
Operativamente, existe una diferencia fundamental entre SPC industrial y desempeño ambiental:
En SPC, el objetivo es que el régimen no cambie.
En desempeño ambiental, el objetivo es justamente lo contrario: que el régimen sí cambie.
¿Por qué?
Porque la mitigación del impacto ambiental implica siempre cambios benéficos medibles:
menos contaminación, menos consumo, menos desperdicio, menos merma, menos descarga, menos emisiones, menos volumen, menos residuos, menos energéticos, menos agua.
Por eso, la mejora continua del desempeño ambiental se manifiesta como desplazamientos sistemáticos del sistema, no como reducción de la variación mientras la característica de calidad permanece alrededor de un estado fijo.
Si lo que queremos ver son reducciones sistemáticas con tendencias a la baja, pero el régimen no cambia exhibiendo disminuciones materialmente útiles, significa que el progreso ambiental no existe.
Por eso, en el contexto del buen desempeño ambiental, el cambio de régimen es la mejor de todas las noticias.
Por ello, cualquier enfoque de control estadístico que asuma implícitamente:
normalidad,
simetría,
estabilidad de régimen,
queda, desde su planteamiento inicial, desconectado de la realidad estocástica y de los objetivos del del sistema ambiental que pretende validar.
¿Por qué los estadísticos clásicos no pueden resolver el problema de validación del desempeño ambiental?
Promedios (x̄)
Son resúmenes incompletos.
Sin inspección gráfica de las distribuciones de probabilidad, colapsan el sistema a un solo número y eliminan información crítica sobre variabilidad, sesgo, colas y forma distributiva.
Desviación estándar (s)
Describe dispersión alrededor de un promedio, pero asume implícitamente un centro estable y aproximadamente simétrico.
No informa sobre asimetrías, colas dominantes, cambios de régimen ni desplazamientos globales del sistema.
t de Student
No aplica.
Los datos ambientales no siempre cumplen normalidad, independencia ni estabilidad de régimen, supuestos centrales del modelo.
Mann–Whitney / Kruskal–Wallis
Solo son válidos cuando las distribuciones comparadas, aunque asimétricas, mantienen forma, sesgo y tendencia semejantes.
Cuando los sistemas ambientales son inestables, estas condiciones no se cumplen. Por ello, las pruebas no paramétricas solo resultan útiles una vez que el régimen se ha estabilizado, aunque permanezca asimétrico.
Estas y otras pruebas de hipótesis responden preguntas estadísticas bajo supuestos iid.
Lo que no hacen es responder la pregunta ambiental física de mayor interés:
¿Cuáles son la magnitud y variación totales del cambio de régimen?
¿Y por qué esta es la pregunta correcta?
Porque la mitigación del impacto ambiental no es un concepto abstracto, una idea inmaterial ambigua, ni una noción estadística.
Es una medida cuantitativa que, para ser científica y auditada con seriedad, debe comunicarse en términos concretos de magnitudes físicas tangibles: masa, energía, carga contaminante, volumen, flujo.
Y además deben expresar su incertidumbre.
¿Por qué no usamos p-valores?
En desempeño ambiental, cuando el régimen es inestable, una diferencia observada puede ser:
Estadísticamente significativa y, al mismo tiempo, ambientalmente irrelevante;
Estadísticamente no significativa y, aun así, ambientalmente relevante.
Bajo estas condiciones, el control clásico de los Errores Tipo I y II pierde utilidad práctica.
¿Para qué seleccionar pruebas de hipótesis basadas en p-valores si los intereses ambientales reales no necesariamente se reflejan en la significancia estadística que, para empezar, ni siquiera es aplicable a regímenes inestables?
Un p-valor no cuantifica la magnitud en el cambio del impacto ambiental.
Solo indica si una diferencia es difícil de atribuir al azar, bajo un modelo estadístico asumido.
Ese enfoque es adecuado en contextos que buscan perfección estadística: cuando cualquier desviación, por mínima que sea, debe ser detectada. Por eso, las pruebas de hipótesis frecuentistas basadas en p-valores funcionan bien una vez que el régimen es estable.
Por el otro lado, cuando el sistema aún es inestable (como ocurre típicamente en datos ambientales) la buena noticia es que las diferencias entre cambios de régimen sí pueden analizarse. La mala es que ninguna prueba de hipótesis, paramétrica o no paramétrica, basada en p-valores, responderá a la pregunta correcta:
¿Cuáles son la magnitud y la variación total del cambio de régimen?
Para responderla con objetividad y validez científica, recurrimos a Wasserstein.
Comparar Estados en Sistemas Ambientales
En desempeño ambiental, casi nunca comparamos el mismo sistema bajo el mismo régimen.
Lo habitual es disponer de dos conjuntos de datos que describen dos estados distintos del sistema, donde uno es más favorable que el otro y donde, desde el inicio, esperamos que el segundo sea mejor que el primero:
antes y después de una intervención,
operación pasada y operación actual,
un periodo histórico y un periodo reciente.
La expectativa no es que ambos conjuntos se comporten igual.
Al contrario: esperamos diferencias.
La pregunta real es otra:
¿cómo sabemos si esas diferencias “antes vs después” son útiles?
¿Con una prueba de hipótesis que detecta diferencias mínimas?
Eso aporta poco para valorar la magnitud real del progreso ambiental.
Aunque la naturaleza del problema es estadística, nuestro objetivo no es demostrar que dos distribuciones producen un p-valor pequeño.
Eso, por sí solo, no dice nada relevante.
El problema es conocer cuánto cambió el sistema en términos físicos y materiales, a partir de la comparación de esas mismas distribuciones de probabilidad.
No nos interesan p-valores.
Nos interesan las diferencias expresadas en magnitudes de masa y su incertidumbre.
En otras palabras: lo que queremos conocer es el intervalo de confianza de la diferencia entre ambos estados.
Y esa diferencia, desde el punto de vista ambiental, debe ser materialmente significativa.
Por eso volvemos a la pregunta más importante, la única que confirma si hubo o no mejora:
¿Cuáles son la magnitud y la variación total del cambio de régimen?
¿Por qué responder esto importa tanto?
Porque, en términos del negocio, el enfoque medular es responder una sola cosa:
¿qué es lo que realmente quiere saber el cliente?
¿Un p-valor?
¿O el rango de reducción de la masa total?
La estimación de ese rango de reducción de masa es lo que permite calcular, de manera directa, rangos de reducción de costos.
¿Qué significa comparar dos conjuntos de datos?
Cuando los sistemas son estables y controlables (como en manufactura), comparar medias o usar pruebas de hipótesis o ANOVAs de una, dos o tres vías suele ser suficiente.
Eso es estadística inferencial clásica básica.
En sistemas ambientales, esto rara vez ocurre.
Cada conjunto de datos puede operar bajo un régimen distinto:
uno puede ser más variable,
otro más sesgado,
uno puede tener colas más largas,
otro puede estar desplazado hacia valores menores (o mayores),
y pueden exhibir múltiples modas.
Aun así, necesitamos compararlos.
La comparación, entonces, no puede hacerse sobre valores puntuales ni sobre estadísticos aislados.
Debe hacerse sobre el comportamiento completo del sistema que cada conjunto describe.
Eso significa comparar distribuciones de probabilidad y sus rangos. No números aislados.
¿Qué hace realmente Wasserstein?
La distancia de Wasserstein mide el desplazamiento total entre dos distribuciones empíricas (ECDF).
No pregunta:
“¿Son estadísticamente distintas?”
Pregunta:
“¿Cuánto tuvo que moverse el sistema completo, para pasar del primer estado al segundo?”
Ese desplazamiento se expresa en las mismas unidades de la variable ambiental (concentración, carga, volumen, masa, energía, etc.). Esto es lo que permite convertirlos a costos.
Por eso, Wasserstein permite comparar:
sistemas estables,
sistemas asimétricos,
sistemas inestables,
y sistemas en transición.
No requiere normalidad, simetría ni igualdad de forma de curvas de densidad entre distribuciones.
Wasserstein y los gráficos de control: una aclaración importante
Aquí conviene ser muy claros.
Para construir gráficos de control formales en Fase I (HDS), el régimen sí debe ser estable, aunque sea asimétrico o sesgado.
Esto es inevitable:
sin estabilidad de régimen,
no puede definirse un estándar de referencia operativo,
y, por lo tanto, no pueden definirse límites de control.
En ese contexto, Wasserstein no elimina la necesidad de estabilidad para Fase I.
Tampoco genera conjuntos de calibración HDS.
No es para eso.
Lo que sí hace Wasserstein es algo distinto y fundamental:
cuantificar la magnitud total del cambio entre conjuntos de datos,
incluso cuando uno o ambos operan bajo regímenes distintos,
y hacerlo en unidades físicas interpretables y traducibles a costos reducidos.
En términos prácticos:
Para establecer control (Fase I) → el régimen debe estabilizarse, aunque sea asimétrico.
Para medir cuánto cambió el sistema (estable o no) → Wasserstein es plenamente aplicable.
¿Por qué esto importa?
En desempeño ambiental, el cambio de régimen no es un problema: es justamente lo que se busca.
La pregunta correcta no es si el sistema “se parece” al pasado, sino:
¿cuánto cambió?,
¿en qué magnitud?,
¿ese cambio es ambientalmente relevante?
Wasserstein permite responder estas preguntas sin forzar supuestos clásicos que un sistema ambiental ni puede ni necesita cumplir.
Recordemos el problema práctico: comparar el antes vs después.
El procedimiento del que hablamos es, en esencia, el siguiente:
Una distribución de probabilidad que describe el régimen anterior, típicamente inestable.
A este estado nos referimos como Fase 0: datos happenstance, utilizados para diagnóstico inicial.Una distribución de probabilidad que describe el régimen posterior, idealmente más estable.
A este estado nos referimos como Fase I: datos históricos de calibración (HDS).
Cuando la diferencia entre ambas distribuciones es gráficamente visible y, además, se observa un desplazamiento hacia magnitudes menores y sus costos asociados, la pregunta final es inevitable:
¿El cambio observado valió la pena, o no?
Esa respuesta no es estadística. Es física y financiera.
Y no le corresponde al analista.
La decisión pertenece al dueño del sistema ambiental, quien evalúa si la magnitud del cambio satisface sus objetivos operativos, regulatorios y económicos.
¿Cómo Comparar Distribuciones de Probabilidad para Estimar el Impacto Ambiental en Toneladas por Mes, Correctamente?
Los resultados que se presentan a continuación provienen de este reporte especial anterior. Para conocer el contexto, vaya a leerlo.
Estass gráficas muestran los resultados de simulaciones Monte Carlo para el desempeño ambiental mensual de nuestro sistema. Cada histograma representa la distribución de valores de masa (en toneladas/mes) obtenida a partir de simulaciones estocásticas, mientras que las curvas ECDF (funciones de distribución acumulada) permiten evaluar la probabilidad acumulada de alcanzar ciertos niveles de impacto.
Cuando los datos de desempeño ambiental se acumulan en el tiempo y entonces los observarmos con métodos gráficos apropaidos y los analizamos para comprobar normalidad, pero descubrirmos que no satisfacen los supuestos de gaussianos, ya lo sabemos: las pruebas de hipótesis clásicas no aplican.
Estas distribuciones no son meros promedios: capturan la variabilidad intrínseca del sistema ambiental, incluyendo fluctuaciones, asimetrías y eventos extremos, que no serían evidentes al observar un valor promedio o un KPI agregado. Las líneas verticales indican la media y el intervalo de confianza (95%) estimado, proporcionando un marco de referencia para la interpretación cuantitativa de cada mes.
Estos gráficos son interactivos y hay un menú intuitivo arriba a la derecha de cada uno. Explórelos y descubra qúe les sucede y cómo se comportan las fluctuaciones de las toneladas de contaminantes liberados al ambiente desde la fuente generadora, a lo largo de los meses.
Este es el tipo de informe gráfico vanguardista que responde dudas y resuelve controversias, al respaldarlo con las metodologías científicas para producirlos y reproducirlos.
Las escalas horizontales y verticales de todos los gráficos se han igualado para faciltiar la equidad para efectos de facilitar la comparación visual.
_____________________________________________________________________________________________________________
_____________________________________________________________________________________________________________